Definition Was ist GermanQuAD?

Anbieter zum Thema

INFOMOTION GmbH

GermanQuAD ist der Name eines Datensatzes mit einer Sammlung von Frage-Antwortpaaren zu Wikipedia-Artikeln in deutscher Sprache. Er lässt sich zum Trainieren und Testen des Textverständnisses und der Fähigkeit zum Beantworten von Fragen von Sprachmodellen einsetzen. Inspiriert ist GermanQuAD von SQuAD, einem vergleichbaren Datensatz in englischer Sprache. Er ist mit knapp 14.000 Frage- und Antwortpaaren deutlich kleiner als SQuAD.

Das Kürzel GermanQuAD steht für „German Question Answering Dataset“. GermanQuAD ist ein Datensatz in deutscher Sprache mit einer Sammlung von Frage-Antwortpaaren zu ausgewählten Wikipedia-Artikeln. Inspiriert ist er von SQuAD (Stanford Question Answering Dataset), einem vergleichbaren Datensatz in englischer Sprache. Der deutsche Datensatz ist mit knapp 14.000 Frage-/Antwortpaaren deutlich kleiner als SQuAD.

GermanQuAD lässt sich verwenden, um das deutsche Lese- und Textverständnis von NLP-Modellen zu trainieren, zu testen, zu beurteilen und zu vergleichen. Die von Menschen erstellten Fragen beziehen sich auf Textpassagen aus deutschen Wikipedia-Artikeln. Der Datensatz ist in Fragen für das Trainieren und das Testen von Sprachmodellen aufgeteilt. Beim Testen muss das Sprachmodell die richtige Antwort zur gestellten Frage geben. Hierfür verwendet es den zu jeder Frage enthaltenen Auszug aus einem Wikipedia-Artikel. Der Datensatz beinhaltet komplexe Fragestellungen, die sich nicht mit einer einzigen Entität oder wenigen Worten beantworten lassen.

Training- und Testdatensatz sind so gestaltet, dass sie sich inhaltlich nicht überschneiden. Deutsche Sprachmodelle, die mit GermanQuAD trainiert und evaluiert wurden wie German ELECTRA for QA, zeigten im Vergleich zur Verwendung rein englischsprachiger und maschinell übersetzter Datensätze für das Training signifikant verbesserte Ergebnisse . Entwickelt wurde GermanQuAD von Timo Möller, Julian Risch und Malte Pietsch von deepset.ai (deepset GmbH).

Motivation für die Entwicklung von GermanQuAD

Der Mensch ist aufgrund seines über die Jahre erworbenen Allgemeinwissens und der Fähigkeit, logisch zu schlussfolgern, in der Lage, Fragen zu einem vorgegebenen, noch nicht bekannten Text korrekt zu beantworten. Er hat ein ausgesprochen gutes Lese- und Textverständnis erlernt. Für Sprachmodelle (NLP-Modelle – Natural Language Processing) stellt es eine große Herausforderung dar, natürlichsprachigen Test zu verstehen und zugehörige Fragen richtig zu beantworten. Wie der Mensch benötigen Sprachmodelle dazu ein gewisses Grundwissen und die Fähigkeit zu logischen Schlussfolgerungen.

Um das Lese- und Textverständnis und die Fähigkeit zum richtigen Beantworten von Fragen zu trainieren und zu testen, existieren mittlerweile zahlreiche Datensätze wie SQuAD. Fast alle diese Datensätze sind aber in englischer Sprache und enthalten dementsprechend englischsprachige Fragen und Antworten. Die Entwicklung und Erforschung nicht englischer QA-Modelle (Question Answering) leidet unter diesem Mangel an anderssprachigen Trainings- und Testdatensätzen.

GermanQuAD wurde speziell für die deutsche Sprache entwickelt. Der Datensatz enthält deutschsprachige Fragen und Antworten. Die zugehörigen Textpassagen zum Beantworten der Fragen stammen aus deutschen Wikipedia-Artikeln. Das Training mit GermanQuAD hat sich im Vergleich zum Training mit maschinell übersetzten anderssprachigen Datensätzen als sehr effektiv erwiesen. Mittlerweile gibt es vom englischen SQuAD inspirierte Datensätze nicht nur in Deutsch, sondern auch in anderen Sprachen wie in Französisch (FQuAD), Koreanisch (KorQuAD) oder in Russisch (SberQuAD).

Erstellung und Inhalt von GermanQuAD

Insgesamt besteht GermanQuAD aus 13.722 Frage- und Antwortpaaren und den zugehörigen Wikipedia-Textpassagen. Der Datensatz teilt sich in 11.518 Fragen mit 11.518 Antworten für das Training und 2.204 Fragen mit 6.536 annotierten Antworten für das Testen von Sprachmodellen auf. Die Erstellung des Datensatzes ist inspiriert von existierenden Datensätzen wie SQuAD und nutzt Erfahrungen der Entwickler in verschiedenen Projekten.

Im Vergleich zu vielen anderen Datensätzen, wurde bei der Erstellung darauf geachtet, dass es keine Überschneidungen zwischen den Trainings- und Testdatensätzen gibt. Aus deutschen Wikipedia-Artikeln wurden Absätze von mindestens 500 Zeichen extrahiert. Jeder Absatz enthält den Titel des deutschen Wikipedia-Artikels. Die Länge der Wikipedia-Absätze für das Training ist auf 2.500 Zeichen begrenzt. Der Testdatensatz enthält auch längere Absätze. Bei der Erstellung von GermanQuAD haben sich die Entwickler bewusst gegen einen reinen Crowdsourcing-Ansatz entschieden. Es wurden gezielt Personen mit Erfahrungen aus dem Bereich des überwachten Lernens ausgewählt, beispielsweise Studenten aus den Fachbereichen Computerlinguistik, Computerwissenschaften, Chemie und anderen. Zusätzlich wurde ein erfahrener Expert-Annotator eingesetzt. Die ausgewählten Personen wurden in einem Workshop geschult und erhielten detaillierte Anweisungen.

Die Fragen entstanden, indem die ausgewählten Personen nach dem Lesen der Wikipedia-Absätze zugehörige Fragen formulierten. Um lexikalische Überschneidungen mit den Wikipedia-Artikeln zu vermeiden, sollten für die Fragen Synonyme und eine veränderte Syntax verwendet werden. Fragen sollten durchaus komplex und so formuliert sein, dass sie sich nicht mit einer einzigen Entität oder wenigen Worten beantworten lassen. Die Fragen sind so gestellt, dass sie autark aus den Wikipedia-Passagen ohne Zusatzinformationen beantwortet werden können. Für das Generieren eines vielfältigen Satzes annotierter Antworten für den Testdatensatz wurde die Crowdsourcing-Plattform Crowd Guru genutzt. Jede Frage des Testdatensatzes hat eine richtige Antwort, eine vom Expert-Annotator erstellte Antwort und eine per Crowdsourcing generierte Antwort.

(ID:49258948)